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Proceed de representation d'une sequence d'images par modeles 3D, 
signal et dispositifs correspondants* 

Le domaine de l'invention est celui du codage de sequences damages. Plus 
pr£cis£ment, l'invention concerne une technique de codage de sequences 
5 d'images par flux de modeles tridimensionals, ou 3D. 

On rappelle que le codage video par mod&les 3D consiste & repr6senter une 
sequence video par un ou plusieurs modeles 3D textures. Les informations k 
transmettre & un codeur de la sequence d'images sont les modules 3D, les images 
de textures qui leur sont assocides, et les param&tres de la camera ayant fi\m€ la 
10 sequence. 

Ce type de codage permet done d'atteindre des debits plus faibles que les 
techniques de codage classiques, selon lesquelles on reprSsente gen6ralement les 
videos par un ensemble de pixels, qui est bien plus cofiteux h. transmettre. 

En outre, une telle technique de codage par modeles 3D permet, par 

15 rapport aux techniques de codage classiques, d'aj outer certaines fonctionnalites k 
la sequence reconstruite. II est ainsi possible de changer Tillumination de la scSne, 
de realiser un affichage st6r6oscopique, de stabiliser la sequence (lorsqu'il s'agit 
d'une sequence vid£o), d'ajouter des objets dans la scene ou enfin de changer le 
point de vue, de fa?on £ simuler une navigation libre dans la scene (la navigation 

20 libre peut en effet etre definie comme un changement de trajectoire de la camera 
par rapport au chemin original). 

II existe de ce fait, sur le marche du codage d'images, une demande 
importante de methodes ^extraction de modeles 3D a partir de vid6os. En effet, 
en partant de scenes 3D r6elles, on obtient par mod&isation 3D un contenu 

25 beaucoup plus photor6alistique que selon les methodes de synthese envisages par 
le passe. En outre, grace aux fonctionnalites citees ci-dessus, l'obtention de 
modeles virtuels des scenes r6elles permet d'envisager un grand nombre 
dapplications telles que re-commerce, les jeux vid<5o, la simulation, les effets 
spgeiaux ou encore le rep&rage gdographique. 
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On connaft k ce jour plusieurs techniques permettant la construction de 
modeles 3D k partir d'une vid6o. 

Certaines techniques, dites actives, n6cessitent de contrSler Teclairage 
d'une scene r£elle, et mettent g6n€ralement en oeuvre une technologie laser, ou un 
5 grand nombre de cameras, afin d'acqu6rir plusieurs angles de vues et de 
nombreuses informations de profondeur. 

D'autres techniques, dites passives, reposent quant k elles sur des 
algorithmes de calcul sophistiqu6s, et sont basees, soit sur les relations entre les 
images, soit sur les silhouettes. Elles different principalement les unes des autres 
10 par le niveau de calibration necessaire et le degre d'interactivite autorisS. Elles 
consistent k reconstruire une information 3D a partir d'un ensemble de 
photographies ou d'images, et se heurtent principalement aux deux problemes 
suivants : 

la mise en correspondance, qui consiste k trouver, pour une zone 
15 d'une image donn6e, une zone correspondante dans les autres images 

(cette zone peut etre reduite k un point de l'image) ; 
la calibration de la camera, qui consiste k estimer les param&tres de 
formation de Timage (k savoir, les param&tres intrinseques de la 
camera (distance focale, etc.) et ses param&tres extrins&ques (positions 
20 de la camera pour T acquisition des differentes images de la sequence, 

etc.)). 

La mise en correspondance est g6n6ralement gdree manuellement, comme 
decrit par V. M. Bove et al. dans "Semiautomatic 3D-model extraction from 
uncalibrated 2-D camera views," (en fran?ais, "extraction semi-automatique de 
25 modules 3D k partir de vues bidimensionnelles non-calibrees de cam6ra") 
Proceedings Visual Data Exploration and Analysis, 1995. 

La calibration est quant k elle un processus fastidieux, et les algorithmes 
de calcul qui lui sont associes sont souvent instables. De nombreuses methodes 
reposent done sur des sequences calibr6es qui demandent, soit une intervention 
30 humaine (E. Boyer et al., "Calibrage et Reconstruction k l'aide de Parall616pipfcdes 
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et de Parall61ogrammes," Actes du treizieme congres francophone des 
reconnaissances de Formes et Intelligence Artificielle, 2002), soit un systeme 
d' acquisition compliqu6, reposant sur une « turntable » (en frangais, « table 
tournante ») (W. Niem, "Robust and Fast Modeling of 3D Natural Objects from 

5 Multiple Views,", en frangais "mod&isation rapide et robuste d'objets naturels 3D 
a partir de vues multiples", vcipl994, 1994) ou sur l'utilisation d'un robot mobile 
(J. Wingbermuhle, "Automatic Reconstruction of 3D Object Using a Mobile 
Monoscopic Camera," en frangais "Reconstruction automatique d'objets 3D 
utilisant une camera mobile monoscopique", Proceedings of the International 

10 Conference on Recent Advances in 3D Imaging and Modelling, Ottawa, Canada, 
1997 ). 

Selon certaines autres methodes automatiques, ou semi-automatiques, la 
mise en correspondance n'est pas ger6e manuellement. On se refdrera par exemple 
aux techniques de A. Fitzgibbon et aL, ("Automatic Line Matching and 3D 
15 Reconstruction of Buildings from Multiple Views," (en frangais, "Mise en 
correspondance automatique de lignes, et reconstruction 3D d'immeubles & partir 
de vues multiples") IAPRS, Miinich, Allemagne, 1999) ou de C. Zeller et aL, ("3- 
D Reconstruction of Urban Scene from Sequence of Images," (en frangais, 
"Reconstruction 3D de scenes urbaines h partir de sequences damages) INRIA, 
20 Information Technology 2572, 1995), 

Cependant, ces m€thodes semi-automatiques, ou automatiques, necessitent 
de faire de nombreuses hypotheses sur les scenes & reconstruire, et ne s'appliquent 
par exemple qu'aux scenes architecturales. 

Ces methodes de reconstruction 3D automatiques mettent classiquement 
25 en oeuvre les Stapes suivantes : 

- detection de points ou de lignes particuliers ; 

- mise en correspondance entre les images : cette etape consiste a suivre 
le long de la sequence video les points ou lignes particuliers extraits 
lors de l'6tape pr£c£dente ; 

30 - mise en relation des diff&entes images ; 



4 



- reconstruction projective des points 3D ; 

- autocalibration, ou raffinement de la calibration, si necessaire, pour 
passer k un modele 3D m6trique (en effet, les manipulations 
interactives du module se font dans Tespace euclidien) ; 

5 - estimation du modele 3D texturd 

Certaines approches, bashes sur Falgorithme ci-dessus, permettent de 
reconstruire un modMe 3D & partir de donnees fournies par une camera 
monoculaire en mouvement (c'est a dire qu'on n'a aucune connaissance a priori, ni 
sur les param&tres intrinseques ou extrinseques de la camera, ni sur la sc£ne & 
10 reconstruire). On peut se referer par exemple aux techniques de P. Debevec et aL, 
"Panel Session on Visual Scene Representation," Smile2000, 2000, ou de G. 
Cross et aL, "VHS to VRML: 3D Graphical Models from Video Sequences," en 
fran^ais "de la VHS au VRML : modeles graphiques 3D h partir de sequences 
vid6o'\ IEEE International Conference on Multimedia Computing and System, 
15 Florence, 1999. 

J, ROning et aL dans "Modeling Structured Environments by a Single 
Moving Camera," (en frangais "Modelisation d'environnements structures par une 
simple camera mobile") Second International Conference on 3-D Imaging and 
Modelling, 1999 ont propose une m6thode qui estime un premier modele k partir 
20 de contours d6tect£s et de filtres 6tendus de Kalman. Cependant, cette methode 
presente F inconvenient de reposer beaucoup sur les contours, et done d'gtre mal 
adaptSe aux scenes compliqu6es. 

Dans "VHS to VRML: 3D Graphical Models from Video Sequences," 
IEEE International Conference on Multimedia Computing and System, Florence, 
25 1999, G. Cross et aL ont presente une m&hode consistant a detecter des points par 
la methode de Harris, et a les mettre en correspondance entre les differentes vues, 
simultanement & Testimation de la geom6trie. La mise en correspondance se fait 
par correlation en croix, couptee a la geom&rie 6pipolaire pour deux vues, ou h la 
g^ometrie trifocale pour trois vues, qui permettent de guider les appariements. Les 
30 correspondances sont ensuite Stendues a la sequence et optimisees par un 
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ajustement par faisceaux. On obtient done des matrices de projection 3*4 et une 
structure 3D euclidienne (par autocalibration), sur laquelle on plaque la texture 
des images originales. Ceci permet de masquer les imperfections de la geom&rie. 
Cependant, un inconvenient de cette m6thode est que le mouvement entre 
5 deux images successives doit Stre relativement petit et que la sequence d'images 
doit Stre de taille raisonnable. Cette m6thode n'est done pas adaptee k une 
sequence d'images quelconque. 

Deux approches ont egalement 6te proposees par l'universit6 de Louvain. 
Selon la premiere approche (M. Pollefeys, "Tutorial on 3D Modeling from 

10 Images," eccv2000, 2000), les points ou lignes particuliers des images detects 
sont extraits et mis en correspondance a Taide de Talgorithme de Torr (d6crit dans 
l'ouvrage cit6 ci-dessus). En parallele, une calibration restreinte est 6valu6e, afm 
de pouvoir 61iminer les correspondances incompatibles avec la calibration. La 
m£thode de Beardsley (M. Pollefeys, "Tutorial on 3D Modeling from Images," 

15 eccv2000, 26 juin 2000, Dublin, Irlande) permet d'obtenir une 6bauche de 
reconstruction projective pour les deux premieres images, et les matrices de 
projection des autres vues. Une autocalibration, en fixant certaines inconnues k 
leurs valeurs par d£faut et en appliquant le concept de la conique absolue, permet 
de retrouver les param&tres internes de la camera, afin de passer k une 

20 representation m£trique. Les donn6s sont ensuite fusionn6es en un modele 3D 
commun, k l'aide d'une m£thode qui concatene les points qui se correspondent sur 
plusieurs images, pour former deux chaines (une chaine descendante et une chaine 
montante), k partir des cartes de disparit6s et des rotations calcutees lors de la 
calibration. Pour les grands objets, une approche multi resolution est proposee. 

25 Cependant, un inconvenient de cette technique est que 1' approche multi 

resolution proposee pour les grands objets n£cessite de disposer de plusieurs 
videos de la m€me scene, afin d'avoir acces non seulement k une vue d'ensemble 
mais egalement aux details. En outre, cette mSthode est de type semi-automatique. 
Selon une seconde technique (Gool et al., "From image sequences to 3D 

30 models," en fran?ais "des sequences d'images aux modeles 3D", Third 
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International Workshop on Automatic Extraction of Man-made Objects from 
Aerial and Space Images, 2001), les points ou lignes particuliers des images sont 
detects par la m6thode de Harris ou par la methode de Shi et Tomasi (decrite par 
M. Pollefeys, dans "Tutorial on 3D Modeling from Images," eccv2000, 26 juin 
5 2000, Dublin, Irlande). Ces caracteristiques sont ensuite mises en correspondance, 
ou suivies entre les differentes vues, suivant qu'il s'agit dimages ou de vid6o. A 
partir de ces correspondances, les relations entre les vues sont calculees par une 
m6thode robuste comme celle de Torr ou de Fisher et Bolles. Pour la 
reconstruction projective, deux images sont selectionnees, afin d'obtenir une 
10 reconstruction initiale, en determinant les matrices de projection pour des 
parametres intrinseques et une matrice de rotation approchee, et en triangulant. La 
position des cameras correspondant aux autres vues est ensuite determinee a l'aide 
de la g6om6trie epipolaire. La structure est ensuite raffinee en utilisant un filtre de 
Kalman (d6crit par M. Pollefeys, dans "Tutorial on 3D Modeling from Images," 
15 eccv2000, 26 juin 2000, Dublin, Irlande) etendu pour chaque point. Lorsque la 
structure et le mouvement ont 6t6 obtenus pour toute la sequence, un ajustement 
de faisceaux est realise. On passe de la reconstruction projective a la 
reconstruction euclidienne grace a l'autocalibration. Le modele 3D virtuel est 
ensuite obtenu en elevant le maillage triangulaire sur l'une des images de la 
20 sequence, en eliminant les points pour lesquels la profondeur n'est pas disponible. 

Un inconvenient de cette m6thode est qu'elle ne donne de bons resultats 
que sur les scenes simples, et n'est pas adaptee aux scenes complexes. 

Plus g6neralement, toutes les techniques de l'art anteneur decrites ci- 
dessus pr6sentent comme inconvenient de necessiter de faire des hypotheses 
25 simplificatrices sur l'acquisition de la sequence d'images (en termes par exemple 
de parametres de la camera), et/ou sur le contenu de la scene, ou encore sur la 
longueur de la sequence. En d' autres termes, ces differentes m6thodes ne sont pas 
adaptees a une scene et une sequence d'images quelconques, eventuellement 
complexes. 
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Une derntere methode, orientSe codage, a 6t6 proposee par Franck Galpin 
dans "Representation 3D de sequences vid6o: Schema detraction automatique 
d'un flux de modeles 3D, applications h la compression et h la realite virtuelle," 
Universite de Rennes 1, 2002. Contrairement aux autres methodes de Tart 
5 ant6rieur, selon lesquelles on cherche k reconstruire un module 3D unique pour 
r ensemble de la sequence d'images, l'idee principale de la methode de Franck 
Galpin est de traiter la s6quence vid6o par morceaux, afin d'obtenir plusieurs 
modules, qui seront chacun valides pour une section de la sequence, appelee GOP 
(« Group Of Pictures », en fran£ais « groupe d'images »). 

10 On suppose que la scdne est statique (ou segmentee au sens du 

mouvement), filmee par une camera monoculaire en mouvement, que les 
parametres d'acquisition (param&tres intrinsSques et extrinsdques de la camera) 
sont inconnus, que la focale de la camera est constante et que la scene contient 
peu ou pas de surfaces sp6culaires. Le contenu de la scene et les mouvements de 

15 la camera sont supposes quelconques. 

On r6alise une estimation du mouvement dense, bas6e sur liquation du 
flot optique ou sur un maillage 2D deformable, afin de permettre une estimation 
entre des images eloigndes de la sequence (a savoir les images clefs qui delimitent 
les GOPs). Ces images clefs sont selectionnees parallelement et servent de support 

20 a Testimation du moddle 3D. Le calcul robuste des parametres intrins&ques et 
extrinsfcques des cam6ras est Sgalement realis6 sur les images clefs, et affin6 
simultan6ment avec la g6ometrie 3D, par une mSthode d'ajustement de faisceaux 
par fenStre glissante. Les positions des images intermediates sont estimees par 
localisation par Dementhon (voir notamment « Representation de sequence 

25 vid6o : schema d'extraction automatique d'un flux de modules 3D, applications k 
la compression et h la realit6 virtuelle », Universit6 de Rennes 1, janvier 2002, par 
Franck Galpin) afin de pouvoir reconstruire la sequence originate, comme illustre 
sur la figure 1. 

La sequence initiale comprend une pluralite d'images I k successives, 
30 regroup6es en groupes d'images appetees GOPs. Ainsi, les images I 0 k I 5 sont 
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regroupees au sein d'un premier GOP r6ference 1, auquel est associe un modele 
3D Mo. Les images I 5 a I 13 sont rassemblees au sein d'un deuxieme GOP reference 
2, auquel est associe" un deuxifeme modele M v 

Cette derniere methode de l'art anterieur permet d'obtenir, en termes de 
5 codage, des rfisultats tres superieurs aux autres methodes decrites preoSdemment 
dans ce document. Les figures 2a a 2e illustrent les resultats obtenus, en bas debit, 
selon cette technique d'une part, et selon la technique H26L d'autre part. Plus 
precisSment, la figure 2a presente Involution du PSNR, les figures 2b et 2c 
presentent respectivement une image et une zone de detail de cette image 
10 obtenues selon la technique H26L (ou H264, voir notamment « Sliding adjustment 
for 3D video representation », Franck Galpin et Luce Morin, eurasip 2002, pages 
1088 a 2001) pour un debit de 82kb/s, et les figures 2d et 2e presentent les memes 
images obtenues selon la m6thode de flux de modeles 3D de Franck Galpin. 

Sur la figure 2a, la premiere courbe (la plus haute sur la figure) est la 
15 qualite objective de la sequence reconstruite, obtenue par reprojection des 
modeles 3D suivant la methode de Franck Galpin dans l'espace texture, i.e. sans 
prendre en compte les distorsions geom6triques. Les deux autres courbes de la 
figure 2a indiquent la qualit6 objective pour les sequences reconstruites obtenues 
par la methode de Franck Galpin et par le codeur H264 dans l'espace image. 

Bien qu'en mesure objective (c'est-a-dire en termes de PSNR «Peak 
Signal to Noise Ratio », « rapport signal a bruit crete ») les performances 
obtenues soient similaires pour le codeur de Franck Galpin et le codeur H26L, on 
notera que, d'un point de vue visuel, la qualite obtenue est superieure avec le 
codeur base sur un flux de modeles 3D, notamment en termes de respect des 
25 details, d' absence d'effets blocs, etc. 

En outre, cette technique de codage basee sur un flux de modeles 3D 
permet d'atteindre de tres bas debits pour une qualite visuelle satisfaisante, ainsi 
qu'illustre par les figures 3a a 3c, qui presentent respectivement : 
revolution du PSNR ; 
30 _ une image obtenue selon cette technique ; 
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une zone de detail de cette image, 
pour un d6bit de 16kb/s. 

Bien que la methode de Franck Galpin, reposant sur 1'extraction d'un flux 
de modeles 3D, ne presente pas certains inconvenients inherents aux methodes 
5 d'extraction d'un modele 3D unique decrites prex<Sdemment, elle se heurte 
cependant a certains problemes. 

Notamment, un inconvenient de cette technique de 1'art anteiieur est que 
l'ensemble des modeles 3D obtenus pour une sequence d'images ne sont que 
partiellement redondants, ce qui rend cette technique inadaptee aux applications 
10 de navigation libre dans une sc&ne. 

En effet, les differents modeles 3D obtenus sont exprimes dans des reperes 
differents, et presentent de nombreuses imperfections (en termes notamment de 
derive, de points aberrants, etc.). 

Un autre inconvenient de cette technique de l'art anteiieur est que, bien 
15 qu'elle soit orientee vers le codage (contrairement aux autres approches decrites 
precedemment), elle n'est echelonnable (en anglais « scalable ») que du point de 
vue de la texture des images, et non de la geometric 

Cette methode n'est done pas, ou mal adaptee a une mise en ceuvre sur des 
terminaux de visualisation de capacites de traitement tres diverses, ou sur des 
20 rSseaux de transmission de d€bit variable. 

L'invention a notamment pour objectif de pallier ces inconvenients de l'art 
ant&ieur. 

Plus precisement, un objectif de l'invention est de fournir une technique de 
representation d'une sequence d'images par modele 3D qui soit adaptee a tout 
25 type de sequence d'images fixes ou statiques, ou de scene, y compris complexe. 
Notamment, l'invention a pour objectif de mettre en ceuvre une telle technique qui 
permette la reconstruction d'une scene, sur laquelle on ne formule aucune 
hypothese, qui est acquise avec un appareil grand public, dont on ne connait ni les 
caracteristiques, ni le deplacement. 
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Un autre objectif de l'invention est de mettre en ceuvre une telle technique 
qui permette d'obtenir une sequence reproduite par reprojection de bonne qualite 
visuelle, mSme lorsqu'on s'61oigne de la trajectoire originale de la camera ayant 
servi k l'acquisition de la sequence. 
5 L'invention a encore pour objectif de fournir une telle technique qui soil 

adaptee aux bas et tres bas d6bits. 

L'invention a egalement pour objectif de mettre en ceuvre une telle 
technique qui soit particulierement bien adaptee aux scenes de grandes 
dimensions. 

10 L'invention a encore pour objectif de fournir une telle technique qui 

convienne aux applications de codage et de navigation virtuelle. 

L'invention a aussi pour objectif de mettre en ceuvre une telle technique 
qui permette d'obtenir des representations echelonnables (en anglais « scalable ») 
des s6quences d'images, de facon a permettre une transmission sur des reseaux de 
1 5 debits divers, en vue notamment d' applications portables . 

Encore un objectif de l'invention est de fournir une telle technique, qui 
permette, a meme debit, la representation de scenes de meilleure qualit6 visuelle 
que selon la technique de Franck Galpin decrite ci-dessus. 

L'invention a aussi pour objectif de mettre en ceuvre une telle technique 
20 qui permette, pour la representation d'une s6quence d'images de meme qualite 
visuelle, une reduction du debit par rapport a la technique de Franck Galpin 
d6crite ci-dessus. 

Ces objectifs, ainsi que d'autres qui apparaitront par la suite, sont atteints a 
1'aide d'un proc6de de representation d'une s6quence d'images regroupees en 
25 ensembles d'au moins deux images successives, appeles GOPs, un modele 
tridimensionnel maill6 textur6 etant assocte a chacun desdits GOPs. 

Selon l'invention, le modele tridimensionnel associ6 au GOP de niveau n 
est repr6sente a l'aide d'un maillage irr6gulier tenant compte d'au moins un 
sommet d'au moins le maillage irregulier representant le modele tridimensionnel 
30 associe au GOP de niveau n-1, ledit sommet 6tant appel6 sommet commun. 
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Ainsi, l'invention repose sur une approche tout a fait nouvelle et inventive 
de la representation d'une sequence d'images par modeles 3D. En effet, comme 
pour la m&hode proposee par Franck Galpin, l'invention propose une approche 
reposant, non pas sur l'extraction d'un modele 3D unique pour l'ensemble des 
images de la sequence, mais sur l'extraction d'un flux de modeles 3D, associes 
chacun k un groupe d'images, appeld GOP. 

En outre, l'invention propose une amelioration inventive de la technique 
de Franck Galpin, en etablissant une correspondance entre les differents modeles 
3D associes a chacun des GOPs, de facon, notamment, a accroitre leur 
redondance. L'invention permet done avantageusement des applications de type 
navigation interactive. 

Une telle correspondance entre modeles 3D successifs est rendue possible 
en utilisant un maillage irregulier des images, qui s'adapte particulierement bieh 
aux singularites des images. Le maillage irregulier d'un modele 3D prend ainsi en 
compte au moins un sommet singulier (et plus generalement les points ou lignes 
particuliers de l'image) du maillage irregulier du sommet 3D precedent. 

L'invention permet done, a qualite visuelle 6gale, de r6duire le d6bit de: 
transmission de la sequence d'images, du fait de la redondance entre les differents : 
modeles 3D. Elle permet egalement, pour un m6me d6bit, d'obtenir une meilleure 
qualite visuelle de la representation de la sequence d'images, grace au suivi des 
singularites de l'image entre modeles 3D successifs. 

Selon une caracteristique avantageuse de l'invention, on associe egalement 
a au moins deux modeles tridimensionnels consecutifs un modele de base 
construit k partir desdits sommets communs auxdits au moins deux modules 
tridimensionnels. 

Selon la nature de la sequence d'images, il est possible qu'a tous les 
modeles 3D associes a la sequence corresponde un m6me maillage de base. Ce 
maillage de base, ou maillage grassier dont les differents modeles 3D constituent 
des raffinements, correspond a la structure geomStrique commune a tous les 
modeles 3D qui lui sont associds. 
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Pr6f6rentiellement, on passe d'un desdits modeles tridimensionnels & un 
autre par transformation en ondelettes, k Taide d'un premier ensemble de 
coefficients d* ondelettes. 

Avantageusement, un desdits modules tridimensionnels est obtenu a partir 
5 dudit modele de base associ6 par transformation en ondelettes, a Taide d'un 
deuxi^me ensemble de coefficients d'ondelettes. 

I/invention permet done une transmission scalable de la sequence 
d' images, adaptable en fonction des caracteristiques du reseau ou du terminal de 
visualisation. Les elements & transmettre pour une reconstruction de la sequence 
10 sont, outre les parametres de la camera, le maillage de base d'une part, et les 
coefficients d'ondelettes permettant de reconstruire les differents modeles 3d 
d' autre part. En transmettant un nombre plus ou moins grand de coefficients 
d' ondelettes, on obtient une quality de reconstruction plus ou moins elevee, 
adapt6e au debit du r6seau de transmission ou h la capacite du terminal de 
15 visualisation. 

De maniere pr6ferentielle, ledit maillage irr6gulier de niveau n est un 
maillage irrSgulier bidimensionnel de Tune des images dudit GOP de niveau n. 

De mani&re avantageuse, ladite image maillee est la premiere image dudit 
GOP de niveau n. 

20 Prefgrentiellement, chacun desdits modeles tridimensionnels est obtenu par 

Elevation dudit maillage irr€gulier le reprdsentant 

On combine ainsi des informations de profondeur au maillage 2D, pour 
obtenir par Elevation une carte de profondeur maillee. 

Selon une premiere variante avantageuse de Tinvention, ledit maillage 
25 bidimensionnel irregulier est obtenu par simplifications successives d'un maillage 
triangulaire regulier de ladite image. 

Par exemple, on part de triangles de c6te 1, pour couvrir tous les points de 
T image. 
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Selon une deuxifcme variante avantageuse de l'invention, ledit maillage 
bidimensionnel irrdgulier est obtenu h partir d'un maillage de Delaunay de points 
d'mt&St predetermines de ladite image. 

Ces points d'int£rSt sont detectes au prgalable, par exemple par 
1'algorithme de Harris et Stephen. 

Preferentiellement, deux GOPs successifs ont au moins une image 
commune. 

Ainsi, la derniere image d'un GOP est aussi la premiere image du GOP 
suivant. 

Selon une caracteristique avantageuse de Hnvention, lesdits sommets 
communs auxdits niveaux n-1 et n sont detectes par estimation de mouvement 
entre la premiere image dudit GOP de niveau n-1 et la premiere image dudit GOP 
de niveau n. 

Avantageusement, un tel proc<Sd6 comprend une 6tape de stockage desdits 
sommets communs detectes. 

Ces sommets communs stock6s peuvent ensuite Stre utilises pourVla 
construction du mod&le associe au GOP suivant. 

De maniere preferentielle, ledit maillage irr£gulier reprgsentant ledit 
modele associe au GOP de niveau n tient egalement compte d'au moins un 
sommet d'au moins le maillage irregulier representant le modele associe au GOP 
de niveau n+1. 

En proc^dant ainsi de maniere bidirectionnelle, on accroit encore la qualite 
visuelle lors de la reconstruction. 

Avantageusement, ledit deuxieme ensemble de coefficients d'ondelettes 
est genere par application d'au moins un filtre d' analyse sur un remaillage semi- 
regulier dudit module tridimensionnel associe. 

On rappelle qu'un maillage semi-r6gulier est un maillage dont les sommets 
qui n'ont pas six voisins sont isotes sur le maillage (c'est-k-dire qu'ils ne sont pas 
voisins entre eux). 
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Pr6f6rentiellement, lesdites ondelettes sont des ondelettes de deuxieme 
g£n6ration. 

De mani&re pr£f6rentielle, lesdites ondelettes appartiennent au groupe 
comprenant : 

5 - les ondelettes affines par morceaux ; 

les ondelettes polynomials ; 

les ondelettes bashes sur le schema de subdivision de Butterfly. 
L'invention concerne aussi un signal representatif d'une sequence 
damages regroupees en ensembles d'au moins deux images successives, appetes 
10 GOPs, un modele tridimensionnel maille textur6 etant associe & chacun desdits 
GOPs. 

Selon F invention, un tel signal comprend : 

au moins un champ contenant un module de base construit a partir de 
sommets communs & au moins deux maillages irreguliers, representant chacun un 
15 modele tridimensionnel, lesdits au moins deux modules tridimensionnels 6tant 
associes h au moins deux GOPs successifs ; 

au moins un champ contenant un ensemble de coefficients 
d' ondelettes permettant de construire, par transformation en ondelettes a partir 
dudit modele de base, au moins un modele tridimensionnel associe k Tun desdits 
20 GOPs ; 

au moins un champ contenant au moins une texture associ6e a Tun 
desdits modules tridimensionnels ; 

au moins un champ contenant au moins un parametre de position de 

camera. 

25 L'invention concerne encore un dispositif de representation d'une 

sequence d' images mettant en ceuvre le proc^de de representation d6crit 
pr6c6demment. 

L'invention concerne notamment un dispositif de representation d'une 
sequence d'images regroupees en ensembles d'au moins deux images successives, 
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appel6s GOPs, un module tridimensional maille textun* 6tant associe k chacun 
desdits GOPs. 

Selon l'invention, un tel dispositif comprend : 

des moyens de construction desdits modeles tridimensionnels, par 
transformation en ondelettes d'au moins un modele de base, elabore" a 
partir de sommets communs a au moins deux maillages irreguliers 
representant deux modeles tridimensionnels successifs ; 
des moyens de representation desdites images de la sequence k partir 
desdits modeles tridimensionnels, d'au moins une image de texture et d'au 
moins un parametre de position de camera. 

L'invention concerne aussi un dispositif de codage d'une sequence 
d'images regrou P 6es en ensembles d'au moins deux images successives, appeles 
GOPs, un modele tridimensionnel maille texture 6tant associe a chacun desdits 
GOPs. 

Selon l'invention, un tel dispositif de codage comprend des moyens de 
codage d'un modele tridimensionnel associe au GOP de niveau n, ledit modele 
tridimensionnel etant represent* k 1'aide d'un maillage irregulier tenant compte 
d^au moins un sommet d'au moins le maillage irregulier representant le modele 
tridimensionnel associe au GOP de niveau n-1. 

D'autres caracteristiques et avantages de Tinvention apparaitront plus 
clairement a la lecture de la description suivante d'un mode de realisation 
preferentiel, donn<5 k titre de simple exemple illustratif et non limitatif, et des 
dessins annexes, parmi lesquels : 

la figure 1, deja commentee en relation avec 1'art anterieur, pnSsente le 
Principe de la reconstruction d'une sequence video par un flux de modeles 
3D; 

les figures 2a k 2e, deja commences en relation avec Part anterieur, 
illustrent un comparatif des resultats visuels obtenus selon une technique 
de type H26L d'une part, et selon la technique de codage de la figure 1 
d'autre part ; 
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les figures 3a k 3c, d6fo commences en relation avec Tart ant6rieur, 
prfisentent les r6sultats obtenus selon la technique de la figure 1 pour un 
d6bit faible de 16kb/s ; 

la figure 4 illustre le principe gdn^ral de la reconstruction d'une sequence 
5 vidSo h. partir d'un mod&Ie 3D ; 

la figure 5 illustre le principe g&i6rai de la presente invention, reposant sur 
Textraction d*un flux de modeles 3D, associ£s chacun h un module de 
base, commun & un ou plusieurs modules 3D ; 

la figure 6 presente les diffSrents coefficients d'ondelettes utilises pour le 
10 codage des modeles 3D de la figure 4 ; 

la figure 7 presente un synoptique des differentes Stapes mises en oeuvre 

selon Tinvention pour le codage des images de la sequence. 

Le principe g£n6ral de rinvention repose sur l'extraction d'un flux de 
modeles 3D auxquels on associe des maillages irrdguliers, adaptds au contenu des 
15 images de la sequence, et qui prennent en compte les correspondants des sommets 
du maillage irr6gulier du modele 3D precedent. 

On rappelle brievement, en relation avec la figure 4, le principe general de 
la reconstruction d'une s6quence vidSo par 1' intermediate d'un modele 
tridimensionneh 

20 On consid&re une scene reelle, en T occurrence un objet 41 (ici, une 

theiere), que Ton filme (42) au moyen d'une camera 43. On ne fait aucune 
hypothese, ni sur la nature de cette camera, qui peut 6tre un appareil grand public, 
ni sur les parametres d' acquisition de la video. 

Apres num6risation 44 de la vid6o, on obtient une sequence d'images 45, 

25 que Ton appelle s6quence originale. 

Par analyse 46 de cette sequence originale, on construit au moins un 
modele 3D 47 (une pluralite de modules 3D selon Tinvention), a partir duquel on 
peut reconstruire (48) une s6quence damages 49, en vue de son affichage sur un 
terminal de visualisation. 
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On presente desormais, en relation avec la figure 5, le principe general de 
1'invention, qui est base\ d'une part, sur un flux de modeles 3D mailtes textures, et 
d' autre part, sur la mise en ceuvre de transformations en ondelettes. 

Chaque modele 3D correspond a une partie de la sequence d'images 
d'origine, c'est-a-dire k un GOP (en anglais « Group of Pictures »). Les modeles 
3D considered sont des cartes d'&evations maillees irregulierement, sous la 
contrainte de la prise en compte des correspondents des sommets du modele 
precedent. Cette contrainte permet de garantir des correspondances precises entre 
les sommets des modeles successifs. 

Les transformations permettant de passer d'un modele a un autre sont 
decomposes en ondelettes, ce qui permet d'adapter la precision de la 
transformation au debit, grSce a la scalability naturelle des ondelettes. 

L'invention repose en outre sur la reconstruction de modeles de base, que 
l.*on associe a un ou plusieurs GOPs successifs, ainsi qu'illustre" par la figure 4. - 

La sequence d'images originate est constitu6es d'images I k successives.. On 
a plus particulierement represents sur la figure 4 les images I 0 , 1 3) I 5 , 1 10 , I^, I^ i^, 
^o. et I 60 . Cette sequence peut etre de longueur quelconque, aucune hypothese 
restrictive n'etent necessaire selon la presente invention. 

La s6quence d'images I k est divisee en groupes d'images successifs, 
appeles GOPs. Ainsi, le premier GOP 50 comprend les images references Ip a I 5 , 
le deuxieme GOP 51 comprend les images I 5 a I^, un (k+l) i4me GOP 52 comprend 
notamment les images 1^ a et un (k+2) i4mo GOP 53 comprend les images I 40 a 
I 60 . On notera que, dans le mode de realisation preferentiel de la figure 4, la 
derniere image d'un GOP est egalement la premiere image du GOP suivant : ainsi, 
l'image I 5 par exemple appartient au premier GOP 50 et au deuxieme GOP 51. 

On construit, pour chacun de ces GOPs 50 a 53, un modele 3D M k . Le 
modele 3D M 0 est associe - au GOP 50, le modele 3D M, est associe au GOP 51, 
etc. 

On construit egalement un ensemble de modeles de base, notes MB k , dont 
les modeles 3D M k constituent des raffinements. Ainsi, sur la figure 4, le modele 
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de base MB 0 est associe aux modules 3D k M k , et le module de base MBj est 
associe aux modeles 3D M k , M k+l et suivants. 

On choisit d'associer un tel module grossier MB k aux modeles 3D de 
T ensemble des GOPs le long desquels on peut suivre un ensemble de points 
5 particuliers predetermines. Lorsque certains de ces points ne sont plus apparents 
dans le modele 3D suivant, on choisit de passer & un nouveau modele de base 
MB k+1 . 

On peut ainsi decomposer en ondelettes les differents modeles 3D M k , qui 
ont 6t6 obtenus separ6ment, mais qui s'appuient tous sur un meme maillage de 
10 base, a savoir celui du module grossier coraraun associe. 

Suivant la nature des images de la sequence originate, et F existence de 
zones communes entre celles-ci en plus ou moins grand nombre, le maillage de 
base MB k pourra Stre valide pour un nombre variable de GOPs, voire mSme 
eventuellement pour toute la sequence d'images. 
15 GrSce a ces modules de base MB k , on peut done exprimer chaque modele 

3D M k estime, par le maillage de base lui correspondant d'une part, et par un 
ensemble de coefficients d'ondelettes d' autre part. 

Cette representation est resum6e dans le schema de la figure 6, ou les 
coefficients f* represented les coefficients d'ondelettes relatifs a une 
20 transformation de passage d'un module 3D M k au suivant et oil les coefficients r* 
represented les coefficients d'ondelettes relatifs h un raffinement entre un modele 
de base MB k et un modele 3D M k associe. 

Ainsi, les coefficients d'ondelettes t 0 k ' k+I a sont utilises pour passer 
d'un module 3D M k au modele 3D M k+1 . Les coefficients d'ondelettes r 0 k & r k 
25 illustrent quant a eux le passage d'un modele 3D M k au modele de base associe 
(en Fesp£ce, le modele MB^. 

Le premier ensemble de coefficients d'ondelettes t k d6finit done les liens 
entre les differents modules M k> ce qui permet de passer de Tun & 1'autre, et de 
g6n6rer des modeles intermedi aires, soit par une interpolation lin6aire entre les 
30 correspondants, soit de manifere implicite gr&ce aux ondelettes. 
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Le deuxieme jeu d'ondelettes rf assure une transmission progressive et 
efficace (en terme de d<*bit) des differents modeles. Ainsi, ia technique de 
l'invention peut 6tre adaptee a tous types de terminaux, quelle que soit leur 
capacity de traitement, et a tous types de reseaux de transmission, quel que soit 
leurd<Sbit. 

On prdsente desormais, en relation avec la figure 7, les differentes Stapes 
mises en oeuvre selon l'invention, lors du codage des modeles et des textures 
associees, pour la representation d'une sequence d'images originale. 

En entree de ralgorithme, on a un ensemble d'images naturelles I n a I m , 
correspondant a differentes prises de vue d'une scene ou d'un objet du monde 
reel, comme illustre" prec6demment en relation avec la figure 4. Dans un mode de 
realisation prefere" de l'invention, ces images sont au format ppm et au format 
pgm L'invention s'applique bien sfir egalement a tout autre format d'image. 

On procede tout d'abord a une estimation de mouvement 71 entre les 
differentes images de la sequence originale, de facon k determiner le champ de 
mouvement C„,„ + „ entre les images L. et I n+p , ainsi que l'ensemble des points 
supports de 1'estimation de l'information 3D, a savoir l'ensemble e„,„ + /des 
sommets du maillage utilise - pour 1'estimation de mouvement entre les images I n et 
W ayant les plus hauts scores avec le d&ecteur de Harris et Stephen et decimes 
regulierement. 

On s61ectionne ensuite (72) les images clefs K k de la sequence originale, 
qui delimitent les differents GOPs de la sequence. 

Si la sequence originale est une sequence video, la selection 72 des images 
clefs K k d&imitant les GOPs est r^alisee selon l'algorithme d^veloppS par Franck 
Galpin et al. dans "Sliding Adjustment for 3D Video Representation" EURASIP 
Journal on Applied Signal Processing 2002 :10 (voir notamment le paragraphe 
5.1. Selection Criteria). Cette selection 72 des images de ddbut et de fin de GOP 
repose done stir la validation de trois criteres: 

- un mouvement moyen suffisant pour la reconstruction de l'information 
3D; 
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- un pourcentage de points communs relativement elev6 entre les deux 
images extrSmes du GOP ; 

- la validity de la geometrie estimee (evaluee grace au residu epipolaire). 
La premiere image clef s61ectionnee est quant a elle la premiere image I 0 

5 de la sequence originale. 

Pour I'extraction des modeles 3D M k , c'est-a-dire pour l'estimation de la 
matrice fondamentale et pour l'estimation des matrices de projection et des 
positions de camera 73, on exploite egalement les techniques developpees par 
Franck Galpin dans "Representation 3D de sequences video: Schema d'extraction 
10 automatique d'un flux de modeles 3D, applications a la compression et a la realite 
virtuelle," University de Rennes 1, 2002 et dans "Sliding Adjustment for 3D 
Video Representation" EURASIP Journal on Applied Signal Processing 2002 :10. 
Ces techniques reposent sur les algorithmes classiques de la modelisation 3D. 

Dans le cas, non pas d'une sequence video, mais d'un ensemble d'images, 
15 le principe est le mgme pour I'extraction de l'information 3D. En revanche, le 
support de cette estimation est un ensemble de points particuliers de l'image 
courante, ayant un fort score pour le detecteur de Harris et Stephen (dans "A 
Combined Corner and Edge Detector," en francais "un detecteur combine de 
sommets et d' aretes", Proc. 4th Alvey Vision Conf., 1988), dont on cherche les 
20 correspondants dans l'image suivante par « block matching » (ou estimation de 
mouvement par blocs). On limite en outre le nombre de modeles a transmettre, en 
mettant en ceuvre une selection 72 des images a prendre en compte pour la 
reconstruction de la sequence originale. Cette selection 72 est basde sur les mSmes 
criteres que la selection des images clefs dans le cas d'une video. 
25 Apres selection 72 des images clefs K k du GOP k, on determine done le 

champ de mouvement C k associe au GOP k comme etant le champ de mouvement 
entre les deux images de d6but et de fin de GOP k. 

On procede egalement a une calibration 75, permettant de determiner 
1' ensemble des parametres intrinseques et extrinseques de la camera ayant servi a 
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1'acquisition de la sequence d'images, et notamment la position P k de la camera 
associee a l'image I k . 

Connaissant cette position P k d'une part, et le champ de mouvement C k 
associ<S au GOP k d'autre part, on estime (74) la carte de profondeur associee 
au GOP k. 

On sauvegarde egalement (76) 1' ensemble des images clefs K k de la 
sequence originale associees aux GOPs k. 

On pourra se referer aux deux publications de Franck Galpin citees 
precedemment pour le mode de fonctionnement plus particulier des blocs 
references 71 a 76 sur la figure 7. 

En vue de la reconstruction, on realise un maillage irregulier 
bidimensionnel 77 des cartes de profondeur Z k , sous la contrainte de la prise en 
compte des correspondants des sommets du modele assocte au GOP precedent, 
contenus dans l'image 

Ce maillage 2D peut Stre calcule de deux manieres: 

- par des simplifications successives a partir d'un maillage regulier de 
triangles de cot<5 1 (i.e. tous les points de l'image) ; 

- par un maillage de Delaunay de points d'interet d&ectes au prealable: 
Lorsque le maillage a 6t6 determine" au niveau n, on estime (78), a 1'aide du 

champ de mouvement C 0 , les correspondants de ces points dans la derniere image 
du GOP n (qui est aussi, dans un mode de realisation prefere de 1'invention, la 
premiere image du GOP n+i). Cette liste de sommets correspondants est alors 
stockee (78) et utilisee lors du maillage 77 du modele associ6 au GOP n+1. 

Dans le cas du maillage 2D obtenu par simplification, on contraint que les 
points de cette liste 78 soient presents dans le maillage final. 

Dans le cas du maillage de Delaunay, les sommets du maillage associe au 
GOP n+1 obtenu par une triangulation de Delaunay sont: 

- les points particuliers detect6s par l'algorithme de Harris et Stephen 
("A Combined Corner and Edge Detector," Proc. 4th Alvey Vision 
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Conf., 1988), ou tout autre detecteur de points d'interet adequat, sur 
l'image clef K„ + , du GOP n+2, 
- les correspondants des sommets du maillage associe" au GOP n. 
La liste des correspondants C(E n ) calcules au niveau n permet de prendre 
en compte les sommets du modele du GOP n qui ne feraient pas partie des 
sommets detected par Harris sur l'image cl6 du GOP n+i. 

Ainsi, on est assure de la presence des correspondants des sommets d'un 
modele dans le modele suivant, ce qui facilite amplement le lien 79 entre ces deux 
modeles. En effet, les correspondances 79 entre les modeles pourront Stre 
10 obtenues de maniere precise grace au champ de mouvement. 

Dans une variante de r6alisation de 1' invention, pour obtenir une 
transformation 79 encore plus precise, on rend cette &ude bidirectionnelle, en 
contraignant le maillage du modele courant a la prise en compte des 
correspondants, non seulement des sommets du modele precedent, mais 
1 5 egalement des sommets du modele suivant. 

Les maillages 3D M k , correspondant a la geometrie des modeles 3D 
representant les GOPs, sont obtenus par elevation des maillages 2D estim6s, ainsi 
qu'illustrg par le bloc r6ference 80. 

Les correspondances 78 etablies entre les sommets de deux modeles 
20 successifs permettent d'exprimer la transformation 79, permettant de passer d'un 
modele M k a un modele M k+ i, a l'aide de coefficients d'ondelettes. 

L'int6ret d'exprimer cette transformation a l'aide d'ondelettes est que Ton 
peut adapter la pr6cision de la transformation au debit grace a la scalability 
naturelle des ondelettes. 
25 Les ondelettes utilisees pour la decomposition sont des ondelettes de 

deuxieme generation, c'est-a-dire qu'elles sont dtfinissables sur des ensembles 
qui n'ont pas de structure d'espace vectoriel. En l'espece, avec les notations de la 
Figure 6, les ondelettes sont deiinies sur les modeles de base MB 0) MB,, etc. 

Disposant du maillage de base MBj et de la correspondance geom&rique 
30 entre MB, et le modele 3D M„ la generation des coefficients d'ondelettes se fait 
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par application de filtres d' analyse sur un remaillage semi-regulier de Mj. Les 
coefficients d'ondelettes d sont la solution du systeme lineaire suivant : 

Td = c 

oil T est la matrice de synthese globale et ou c est l'ensemble des positions des 
sommets sur le remaillage semi-regulier de Mj. 

T depend du type d'ondelettes utilisees. Trois schemas sont privilegies 
selon r invention : les ondelettes affines par morceaux, les ondelettes 
polynomials (notamment les ondelettes de Loop), et les ondelettes basees sur le 
schema de subdivision de Butterfly (J. Warren et al., "Multiresolution Analysis 
for Surfaces of Arbitrary Topological Type," ACM Transactions on Graphics, vol. 
16, pp. 34-73, 1997). 

Ainsi, la matrice T est de la forme 

T = (PQ) 

ou P est une sous-matrice qui represente uniquement le schema de subdivision 
(Affine, Loop, Butterfly,...) et oii la sous-matrice Q est 1'interpietation 
geomdtrique des coefficients d'ondelettes. 

Dans un mode de realisation pnSfere de 1'invention, Q est choisie de telle 
sorte que les coefficients d'ondelettes aient un moment nul. Dans le cas general, P 
et Q peuvent 6tre arbitraires dans la mesure ou Treste inversible. 

La figure 7 resume l'approche qui vient d*6tre exposde pour le GOP k 
Les notations utilisees sur cette figure sont les suivantes: 

- /„.../„ sont les images d'entree ; 

- est le champ de mouvement entre les images /„ et I n+pf ; 

- C k est le champ de mouvement associe" au GOP k ; 

- C(V) est l'ensemble des correspondants des points de l'ensemble V 
trouves par le champ de mouvement ; 

- e m est l'ensemble des points supports de I'estimation de I'information 
3D (sommets du maillage utilise pour I'estimation de mouvement ayant 
les plus hauts scores avec le detecteur de Harris et Stephen et decimes 
regulierement) ; 
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- E k est l'ensemble des sommets du modele 3D associe au GOP k ; 

- Z fc est la carte de profondeur associee au GOP k ; 

- K k est l'image de la sequence originale correspondant a l'image clef 
associee au GOP k ; 

- M k est le modele 3D associe au GOP k ; 

- P m est la position de camera associee a l'image I m ; 

- 6 k est l'ensemble des coefficients d'ondelettes d^finissant la 
transformation de passage entre M k et M k+h ; 

- V k est l'ensemble des sommets du maillage correspondant au modele 

M k .. 

Le codeur 81 recoit en entree les positions P k de la camera pour les 
differentes images I k de la sequence originale, l'estimation M k du modele 3D 
texture, et les coefficients d'ondelettes permettant de transformer le modele M k _, 
en modele M k . 

Simultan6ment a l'estimation des modeles 3D M k de chacun des GOPs k, 
illustree en figure 7, on reconstruit des modeles de base MBj valides pour 
plusieurs GOPs successifs. 

On suit pour cela, grace au champ de mouvement calcul6 C k , l'ensemble de 
points particuliers deletes dans la premiere image du GOP k le long de plusieurs 
images de la sequence. Plus pr6cis6ment, on detecte la presence des 
correspondants de ces points le long de plusieurs GOPs successifs, jusqu'a ce que 
le nombre de correspondants inclus dans l'image analysee soit inKrieur a un seuil 
P r6d6termin6. Ce seuil doit etre choisi de facon a assurer la possibilit6 de la 
reconstruction (i.e. de l'estimation de la matrice fondamentale) ; on le choisit par 
exemple egal a 7. Lorsque le nombre de points particuliers d&ectes dans un GOP 
est inferieur au seuil, on en d€duit que ce GOP ne doit pas Stre associ6 au mSme 
modele de base MBj que les GOPs precedents. 

A partir de ce sous-ensemble de points particuliers, que l'on a suivis de 
GOP en GOP, on reconstruit un modele de base MB, dont les sommets sont tous 
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presents dans les modeles M k associ6s aux GOPs k le long desquels on a pu suivre 
ces points. 

Ces moddles de base, ou modMes grossiers MB, sont ensuite 
individuellement decomposes en ondelettes. Pour ce faire, on met en ceuvre la 
5 methode decrite par P. Gioia, dans "Reducing the number of wavelet coefficients 
by geometric partitioning," Computational geometry, Theory and applications* 
voL 14, 1999, en s'appuyant sur le meme maillage de base. Chaque modele 3D M k 
est consider comme un raffinement du modele de base grassier MBj. 

Ainsi, les coefficients f* de la figure 6 sont obtenus de la mani&re 
10 suivante : les maillages de base issus d'un meme GOP sont identiques, et generent 
aprSs subdivision, le mSme maillage semi-regulier. Par consequent, les 
coefficients r^sont indexes par les mSmes sommets geom^triques lorsque k vine 
dans un mSme GOP. Pour chaque k intermediate, on peut done definir line 
fonction 1* qui fait correspondre & chacun de ces sommets la difference entre les 
15 coefficients r 5 k et rj k+1 . Cette fonction f* est alors decomposee, comriie 
precedemment, en coefficients d'ondelettes, qui sont les coefficients $\ 

L'invention permet done de transmettre la geometric des modules associ6s 
a la sequence originale de mantere peu cofiteuse, puisqu'on transmet, d'une part, 
les maillages de base et d' autre part, les coefficients d'ondelettes associes aux 
20 diff^rents modules. 

Les applications envisageables dans le cadre de 1' invention sont 
nombreuses. LMnvention s' applique ainsi tout particulierement au codage 
d'images representant une m§me scene fixe (qui peuvent £tre un ensemble 
dlmages independantes ou une video). Les taux de compression atteints par ce 
25 type de representation se situent dans les bas et tres bas debits (typiquement de 
Tordre de 20 kbits/s) et on peut done envisager des applications portables. 

De plus, la sequence virtuelle obtenue par reprojection (au decodage) 
possede toute les fonctionnalites permises par la 3D, telles que le changement 
d'illumination, la stabilisation de la sequence, la navigation libre, Tajouts d'objet... 
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REVINDICATIONS 

1. Procede de representation d'une sequence d' images regroupees en 
ensembles d'au moins deux images successives, appeles GOPs, un modele 
tridimensionnel maille texture etant associe k chacun desdits GOPs, 
5 caracterise en ce que le modele tridimensionnel associe au GOP de niveau n est 
repr^sente & Taide d'un maillage irregulier tenant compte d'au moins un 
sommet d'au moins le maillage irregulier repr^sentant Ie module 
tridimensionnel associe au GOP de niveau n-1, ledit sommet etant appeie 
sommet commun. 

10 2. Procede de representation selon la revendication 1, caracterise en ce 
qu'on associe egalement k au moins deux modules tridimensionals consdcutifs 
un module de base construit k partir desdits sommets communs auxdits au 
moins deux modeles tridimensionals. 

3, Procede de representation selon Tune quelconque des revendications 1 
15 et 2, caracterise en ce qu'on passe d'un desdits modeles tridimensionnels k un 
autre par transformation en ondelettes, & Taide d'un premier ensemble de 
coefficients d' ondelettes. 

4* Procede de representation selon l'une quelconque des revendications 1 
a 3, caracterise en ce qu'un desdits modeles tridimensionnels est obtenu & partir 
20 dudit module de base associe par transformation en ondelettes, a Taide d'un 
deuxi&me ensemble de coefficients d f ondelettes. 

5. Precede de representation selon Tune quelconque des revendications 1 
h 4, caracterise en ce que ledit maillage irregulier de niveau n est un maillage 
irregulier bidimensionnel de Tune des images dudit GOP de niveau n. 
25 6. Procede de representation selon la revendication 5, caracterise en ce 
que ladite image mailiee est la premiere image dudit GOP de niveau n, 
7. Procede de representation selon Tune quelconque des revendications 1 
a 6, caracterise en ce que chacun desdits modules tridimensionnels est obtenu 
par elevation dudit maillage irregulier le representing 
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8. Precede de representation selon 1'une quelconque des revendications 5 
a 7, caracterise en ce que ledit maillage bidimensionnel irregulier est obtenu 
par simplifications successives d'un maillage triangulaire regulier de ladite 
image. 

9. Precede de representation selon l'une quelconque des revendications 5 
a 7, caracterise en ce que ledit maillage bidimensionnel irregulier est obtenu a 
partir d'un maillage de Delaunay de points d'interet predetermines de ladite 
image. 

10. Precede de representation selon l'une quelconque des revendications 1 
a 9, caracterise en ce que deux GOPs successifs ont au moins une image 
commune. 

11. Precede de representation selon l'une quelconque des revendications 1 
a 10, caracterise" en ce que lesdits sommets communs auxdits niveaux n-1 et n 
sont detectes par estimation de mouvement entre la premiere image dudit GOP 
de niveau n-1 et la premiere image dudit GOP de niveau n. 

12. Precede de representation selon la revendication 1 1, caracterise" en.ce 
qu'il comprend une etape de stockage desdits sommets communs d&ectes. 

13. Precede de representation selon l'une quelconque des revendications 1 
a 12, caracterise en ce que ledit maillage irregulier representant ledit modele 
associe au GOP de niveau n tient egalement compte d'au moins un sommet 
d'au moins le maillage irregulier representant le modele associe au GOP de 
niveau n+1. 

14. Precede de representation selon l'une quelconque des revendications 4 
a 13, caracterise en ce que ledit deuxieme ensemble de coefficients 
d'ondelettes est g e n ere par application d'au moins un filtre d'analyse sur un 
remaillage semi-re g ulier dudit modele tridimensionnel associe. 

15. Precede de representation selon l'une quelconque des revendications 3 
a 14, caracterise en ce que lesdites ondelettes sont des ondelettes de deuxieme 
generation. 
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16. Precede de representation selon Tune quelconque des revendications 3 
k 15, caracterise en ce que lesdites ondelettes appartiennent au groupe 
comprenant : 

les ondelettes affines par morceaux ; 
les ondelettes polynomials ; 

les ondelettes bashes sur le schema de subdivision de Butterfly. 

17. Signal represent atif d'une sequence d' images regroupees en 
ensembles d'au moins deux images successives, appeles GOPs, un modele 
tridimensionnel maille textur6 etant associe k chacun desdits GOPs, 
caracterise en ce qu'il comprend : 

au moins un champ contenant un modele de base construit k partir de 
sommets communs k au moins deux maillages irreguliers, representant 
chacun un modele tridimensionnel, lesdits au moins deux modeles 
tridimensionnels etant associes k au moins deux GOPs successifs ; 
au moins un champ contenant un ensemble de coefficients d' ondelettes 
permettant de construire, par transformation en ondelettes k partir dudit 
modele de base, au moins un modele tridimensionnel associe a Tun desdits 
GOPs ; 

au moins un champ contenant au moins une texture associee a Tun desdits 
modeles tridimensionnels ; 

au moins un champ contenant au moins un paramdtre de position de 
camera, 

18. Dispositif de representation d'une sequence d' images mettant en 
ceuvre le proced£ de representation de Tune quelconque des revendications 1 k 
16. 

19. Dispositif de representation d'une sequence d'images regroupees en 
ensembles d'au moins deux images successives, appetes GOPs, un modele 
tridimensionnel mailie texture etant associe k chacun desdits GOPs, 
caracterise en ce qu'il comprend : 
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des moyens de construction desdits modeles tridimensionnels, par 
transformation en ondelettes d'au moins un modele de base, elabore" a 
partir de sommets communs a au moins deux maillages irreguliers 
representant deux modeles tridimensionnels successifs ; 
des moyens de representation desdites images de la sequence a partir 
desdits modeles tridimensionnels, d'au moins une image de texture et d'au 
moins un parametre de position de camera. 
20. Dispositif de codage d'une sequence d'images regroupees en 
ensembles d'au moins deux images successives, appeles GOPs, un modele 
tridimensionnel maiHe" texturg 6tant associe a chacun desdits GOPs, 
caracterisS en ce qu'il comprend des moyens de codage d'un modele 
tridimensionnel associe au GOP de niveau n, ledit modele tridimensionnel 
etant reprSsente" a l'aide d'un maillage irregulier tenant compte d'au moins un 
sommet d'au moins le maillage irregulier representant le modele 
tridimensionnel associd au GOP de niveau n-1. 
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